Năm 1956, do khối u ác tính nằm bên phổi trái, ông biết mình không còn sống được lâu nên xin trở về quê hương. Ông rời Bắc Kinh ngày 27 tháng 9, được nguyên soái Bành Đức Hoài, nguyên soái Diệp Kiếm Anh và nhiều tướng lĩnh, cán bộ cao cấp Trung Quốc ra ga tiễn về đến Hà Nội ngày 30 tháng 9. Ông mất tại Hà Nội sau đó không lâu. Ông được Nhà nước Việt Nam truy tặng Huân chương Hồ Chí Minh.[7]

Viết về ông có hồi ký Hoàng Hà luyến, Hồng Hà tình (黃河戀, 紅河情) của bà Trần Kiếm Qua. Cuốn này đã được dịch ra tiếng Việt, nhan đề Hoàng Hà nhớ, Hồng Hà thương.

Ngày 21 tháng 10 năm 2006, Hội Khoa học lịch sử Việt Nam đã tổ chức Lễ tưởng niệm 50 năm ngày mất của ông. Tại lễ này, ngày sinh của ông được ghi là 1 tháng 10 năm 1908.